<html>
<head>
  <title>回归</title>
  <basefont face="微软雅黑" size="2" />
  <meta http-equiv="Content-Type" content="text/html;charset=utf-8" />
  <meta name="exporter-version" content="Evernote Windows/307027 (zh-CN, DDL); Windows/6.1.0 (Win32);"/>
  <style>
    body, td {
      font-family: 微软雅黑;
      font-size: 10pt;
    }
  </style>
</head>
<body>
<a name="1052"/>
<h1>回归</h1>

<div>
<span><div style="text-align: center;"><span><font color="#1C3387" style="font-size: 24pt;"><b>预测数值型数据：线性回归</b></font></span></div><div style="text-align: left;"><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">用线性回归找到最佳拟合直线</font></span></div><div style="text-align: left;"><span><img src="回归_files/Image.png" type="image/png" data-filename="Image.png"/><img src="回归_files/Image [1].png" type="image/png" data-filename="Image.png"/></span></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">相关系数</font></span></div><div style="text-align: left;"><div><span style="min-height: 12pt;"><font><font size="3" style="color: rgb(1, 1, 1);"><span>    <span>    </span></span>用处：比较这些拟合效果的好坏，</font><font size="3" style="color: rgb(1, 1, 1);">计算预测值沖社序列和真实值乂序列的</font><font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>匹配程度</b></font></font></span></div></div><div style="text-align: left;"><span style="font-weight: bold;"><span>    <span>    </span></span>numpy库提供了相关系数的计算方法：可以通过命令correcoef(yEstimate,yActual)</span><span style="font-weight: bold; line-height: 1.45;">来计算预测值和真实值的相关性。</span></div><div style="text-align: left;"><div><span style="font-weight: bold; line-height: 1.45;"><img src="回归_files/Image [2].png" type="image/png" data-filename="Image.png" style="font-weight: bold;"/></span></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><font style="font-size: 18pt; color: rgb(28, 51, 135);">局部加权线性回归</font></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><span style="line-height: 1.45;"><span>    <span>    </span></span>线性回归的一个问题是有可能出现<font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>欠拟合现象</b></font>，因为它求的是具有最小均方误差的无偏估</span></div><div style="text-align: left;">计。<span>所以有些方法允许在估计中引人一</span><span style="line-height: 1.45;">些偏差，从而降低预测的均方误差。</span></div><div style="text-align: left;"><div><span>    <span>    </span></span>其中的一个方法是局部加权线性回归（LWLR）。在该算法中，我们给待预测点附近的每个点赋予一定的权重；在这个子集上基于最小均方差来进行普通的回归。与kNN一样，在每次预测前要<font style="font-size: 12pt; color: rgb(173, 0, 0);"><b>事先选取出对应的数据子集</b></font>。</div></div><div style="text-align: left;"><div><img src="回归_files/Image [3].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;">LWLR使用”核“（与支持向量机中的核类似）来对附近的点赋予更高的权重。核的类型可以自由选择，最常用的核就是高斯核，高斯核对应的权重如下：</div><div style="text-align: left;"><div><img src="回归_files/Image [4].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><div><img src="回归_files/Image [5].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><br/></div><div style="text-align: left;"><br/></div><div style="text-align: left;"><br/></div><div style="text-align: left;"><br/></div><div style="text-align: center;"><div><font style="font-size: 24pt; color: rgb(28, 51, 135);"><b><span>缩减系数来</span><span>“</span> <span>理解”数据</span></b></font></div></div><div style="text-align: left;"><br/></div><div style="text-align: left;"><span><span>    <span>    </span></span>如果数据的特征比样本点还多应该怎么办？是否还可以使用线性回归和之前的方法来做预</span></div><div style="min-height: 15pt; text-align: left;"><span>测？答案是否定的，即不能再使用前面介绍的方法。这是因为在计算（xTx )-1 </span><span>的时候会出错。</span></div><div style="min-height: 15pt; text-align: left;"><span>如果特征比样本点还多</span><span>（n &gt; m ) ,</span><span>也就是说输入数据的矩阵乂不是满秩矩阵。非满秩矩阵在</span></div><div style="text-align: left;"><div><span>求逆时会出现问题。</span></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><font style="font-size: 18pt; color: rgb(28, 51, 135);">岭回归</font></div><div style="text-align: left;"><div><img src="回归_files/Image [6].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><div><br/></div><div><br/></div><div><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">lasso</font></span></div></div><div style="text-align: left;"><div><img src="回归_files/Image [7].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">前向逐步回归</font></span></div></div><div style="text-align: left;"><div><img src="回归_files/Image [8].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">权衡偏差与方差</font></span></div></div><div style="text-align: left;"><div><img src="回归_files/Image [9].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><div><img src="回归_files/Image [10].png" type="image/png" data-filename="Image.png"/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div><div><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">示例：预测乐高玩具套装的价格</font></span></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: left;"><div><br/></div></div><div style="text-align: center;"><br/></div><div style="text-align: center;"><div><br/></div></div><div style="text-align: center;"><span><font style="font-size: 24pt; color: rgb(28, 51, 135);"><b>Logistic回归-从疝气病症预测病马死亡率</b></font></span></div><div><span><img src="回归_files/Image [11].png" type="image/png" data-filename="Image.png"/></span></div><div><span><img src="回归_files/Image [12].png" type="image/png" data-filename="Image.png"/></span></div><div><span><img src="回归_files/Image [13].png" type="image/png" data-filename="Image.png"/></span></div><div><br/></div><div><br/></div><div><br/></div><div><br/></div><div style="text-align: center;"><font color="#1C3387" style="font-size: 24pt;"><b>树回归</b></font></div><div style="text-align: center;"><br/></div><div><img src="回归_files/Image [14].png" type="image/png" data-filename="Image.png"/></div><div><br/></div><div><span><font style="font-size: 18pt; color: rgb(28, 51, 135);">复杂数据的局部性建模</font></span></div><div><br/></div><div><img src="回归_files/Image [15].png" type="image/png" data-filename="Image.png"/></div><div><font color="#AD0000" style="font-size: 12pt;"><b>在树的构建过程中，需要解决多种类型数据的存储问题。</b></font></div><div><font color="#AD0000" style="font-size: 12pt;"><b>这里用字典来存储树的数据结构（包含四个元素）：</b></font></div><div><ol><li><font color="#AD0000" size="4"><span style="line-height: 23px;"><b>待切分的特征</b></span></font></li><li><font color="#AD0000" size="4"><span style="line-height: 23px;"><b>待切分的特征值</b></span></font></li><li><font color="#AD0000" size="4"><span style="line-height: 23px;"><b>右子树。当不再需要切分的时候，也可以是单个值</b></span></font></li><li><font color="#AD0000" size="4"><span style="line-height: 23px;"><b>左子树。与右子树类似。</b></span></font></li></ol></div><div><br/></div></span>
</div></body></html> 